Tháng 11/1964, ông nhập ngũ, chiến sĩ Tiểu đoàn 2, Trung đoàn 9, Sư đoàn 304. Ngày 8/2/1966, ông gia nhập Đảng Cộng sản Việt Nam, chính thức là ngày 9/2/1967.

Tháng 7/1967 – 11/1970, ông làm Trung đội trưởng, Đại đội phó, Đại đội trưởng, Tiểu đoàn phó rồi Tiểu đoàn trưởng Tiểu đoàn 2, Trung đoàn 9, Quân khu Trị Thiên.

Tháng 12/1970 – 8/1972, ông học tại Học viện Lục quân (Việt Nam).

Tháng 8/1972, ông làm Trợ lý tác chiến Quân khu Trị Thiên.

Tháng 5/1973 – 2/1975, ông đảm nhiệm các chức vụ Trung đoàn phó Trung đoàn 1 rồi Trung đoàn trưởng Trung đoàn 1, Sư đoàn 324.

Tháng 3/1975 – 9/1978, ông làm Tham mưu phó Sư đoàn 324.

Tháng 10/1978 – 6/1980, ông học tại Học viện Quốc phòng (Việt Nam).

Tháng 7/1980 – 6/1981, ông làm Sư đoàn phó – Tham mưu trưởng Sư đoàn 304, Quân đoàn 2, Quân đội nhân dân Việt Nam.

Tháng 7/1981 – 4/1985, ông làm Sư đoàn trưởng Sư đoàn 304, Quân đoàn 2, Quân đội nhân dân Việt Nam. Trong thời gian này ông được cử đi đào tạo tại Học viện Quân sự PunDe Liên Xô.

Tháng 5/1985 – 9/1987, ông làm Phó Tham mưu trưởng Quân đoàn 2, Quân đội nhân dân Việt Nam.

Tháng 10/1987– 5/1988, ông làm Phó Tư lệnh thứ nhất Quân đoàn 2, Quân đội nhân dân Việt Nam.

Tháng 6/1988 – 3/1993, ông được thăng quân hàm Thiếu tướng, Tư lệnh Quân đoàn 2, Quân đội nhân dân Việt Nam.

Tháng 4/1993 – 9/1997, ông lần lượt đảm nhiệm các chức vụ: Phó Chủ nhiệm Tổng cục Hậu cần.; Quyền Chủ nhiệm Tổng cục Hậu cần; Chủ nhiệm Tổng cục Hậu cần, Phó Bí thư Đảng ủy Tổng cục Hậu cần.

Tháng 9/1997, ông được bầu vào Đảng đoàn Quốc hội khóa X, làm Phó Chủ tịch Quốc hội nước Cộng hòa xã hội chủ nghĩa Việt Nam, Chủ nhiệm Ủy ban Quốc phòng và An ninh của Quốc hội.

Tại Đại hội đại biểu toàn quốc lần thứ IX của Đảng (tháng 4/2001), ông được bầu lại làm Ủy viên Ban Chấp hành Trung ương Đảng và tiếp tục được bầu giữ chức Phó Chủ tịch Quốc hội nước Cộng hòa xã hội chủ nghĩa Việt Nam kiêm Chủ nhiệm Ủy ban Quốc phòng và An ninh của Quốc hội, Đại biểu Quốc hội khóa X, XI.

Năm 2007, ông thôi giữ chức Phó Chủ tịch Quốc hội và nghỉ theo chế độ

Ngày 8 tháng 2 năm 2019, ông mất tại Bệnh viện Trung ương Quân đội 108.